多流注意力残差
🧭 高效 LLM 预训练 · 深度残差架构
School of AI, Shanghai Jiao Tong University · Shanghai Innovation Institute · Dots Studio, Xiaohongshu Inc. · School of CS, Peking University
将单流深度注意力残差扩展为多流深度注意力，通过多尺度因果卷积生成多样化上下文视图，在 MoE 大模型上取得 1.58 倍预训练加速
📌 工作参考价值（4 点）
- 若业务需要自研或微调大模型作为排序/召回/Agent 底座，可评估用 MSAR 替换标准残差连接：保持单流存储、按需扩展多流深度检索，iso-loss 预训练加速 1.58×，对 MoE 架构尤其明显。
- 多尺度因果卷积生成不同上下文视图的思路可迁移到用户行为序列建模：使用不同 kernel size 的因果卷积提取短期点击、中期会话、长期兴趣等多时间尺度表示，再通过自适应混合融合，增强序列建模能力。
- 轻量自适应混合多个检索流的机制，可作为推荐模型中多兴趣/多视图融合的替代方案：避免显式维护多流表示和通信开销，降低工程实现复杂度。
- 需注意该工作验证于 18B/28B 大规模 MoE 语言模型预训练，直接搬到电商推荐的小模型或非 Transformer 结构收益未知；引入多流机制可能增加调试复杂度，建议先在离线评测中验证深度特征稀释问题是否真实存在。
测试时迭代扩展至数万步的循环原生注意力残差
🧭 循环 Transformer 测试时迭代扩展
The Hong Kong Polytechnic University · Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences · Peng Cheng Laboratory · University of Chinese Academy of Sciences · ELLIS Institute Tübingen
提出 InfiLoop 循环原生残差连接，使 7M 模型在数万次测试时迭代中保持推理提升，Sudoku 97.9%，ARC-AGI-2 13.6% pass@2
📌 工作参考价值（4 点）
- 对 Agent 多轮推理/工具调用场景：借鉴 InfiLoop 的循环原生残差，在 agent 状态更新中引入 content-based weighting + learned temporal decay，保留关键中间推理、抑制噪声 proposal，避免长链路中正确中间状态被覆盖。
- 工程实现上：exact streaming recurrence 使聚合内存恒定，适合在线推理和流式数据处理；在电商推荐中可用于实时会话状态维护或长期用户行为序列建模，避免循环步数增加带来的记忆膨胀和误差累积。
- 测试时扩展以小参数（7M）获得显著推理提升，对资源受限的线上推理服务有参考价值：可以设计轻量循环模块，通过增加循环步数而非模型参数来提升复杂 query 理解或多步策略决策能力。
- 普通 residual connection 在 loop 中可能不够，需要为循环结构单独设计门控残差；具体 trick 是学习每个新更新接受多少、保留多少，而非简单加权平均。
Delta 注意力残差：用层间变化替代累积状态提升路由选择性
🧭 Delta 注意力残差路由
Independent Researcher · University of Wisconsin–Madison
用子层输出的变化量（delta）替代累积隐藏状态进行注意力路由，缓解深层冗余与路由塌缩
📌 工作参考价值（4 点）
- 推荐模型中的跨层特征融合：借鉴 delta 残差机制，在深度兴趣网络等模型中，将各层输出的变动量作为注意力汇聚的对象，避免相邻层特征高度冗余，提升高阶交互的区分度。
- 多智能体通信路由优化：当多个 Agent 间传递信息时，不直接传递当前状态，而传递相对于上一轮的变化量（delta），可使路由注意力更聚焦于新颖信息，降低通信带宽并提升协作效率。
- 预训练模型微调策略：可将现有 Transformer 模型的固定残差连接替换为 Delta 注意力残差后，仅通过少量微调就能继承预训练知识并获得困惑度收益，适合业务场景中低成本架构升级。
- 大规模模型训练稳定性：Delta 残差天然具有更高对比度的注意力分布，能缓解深层网络中的路由塌缩，在训练 recommender 的深层 Transformer 时可直接采用该连接方式以提升训练稳定性和最终效果。